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L'invention conceme un precede et dispositif de mesure de similarite 
entre images. 

Le domaine d'application est celui du calcul de la slmilarite entre 
5 images. Cette similarite peut etre utllis6e dans le cadre de la recherche 
d'images par similarite. Elle peut egalement §tre utilis§e pour estimer des 
groupes d'images proches selon le critere de similarite utilise. II s'agit par 
exemple de la constnjctlon de resumes vid§o. Celle-cl consiste en une 
recherche d'images similaires dans une base consjitude d'images d'une 
10 sequence vld§o. Le but est de reduire te nonpre de ces Images en ne 
cohsen/ant qu'un repi^sentant pour un groupe' d'images d6cr6t6es 
ressemblantes II s'agit egalement de I'indexation consistant a selectlonner 
des images index ^ partir de leur similarite a d'autres Images ou but 
simplement de la recherche d'imagessp6cifiques dans la sequence video, a 
15 partir d'images requete, 

De nombreuses etudes s'interessent a la mesure de similarite entre 
images a partir d'attributs affectes aux images. Un certain nombre d'entre 
eux sont maintenant definis dans la norme MPEG-7. L'invention s'int§resse 
20 en particulier aux attributs dits structurels. Par exemple. dans la demlere 
version de la nonne. un attribut de type contour est defini. II est extrait 
localement de blocs d'images a partir de filtres de Gabon 

Les attributs oonnus de I'art ant^rieur ou proposes dans la norme 
25 MPEG-7 et les algorithmes de traitement de ces attributs pour la mesure de 
similarity, ne permettent cependant pas, pour certains types de sequences, 
de detecter des Images similaires de fagon satisfaisante, dans la mesure oii 
lis ne prennent pas en compte, soit I'lmage dans sa globalite. soit les details 
dans I'lmage. Dans une optique de regroupement d'images extraites d'une 

30 video, la mesure de similarite doit pouvoir traduire le fait que plusieurs 
images correspondent a une m§me scene, caracteris§e par une unite de 
lieu. Une information caracterisant uniquement les details de I'lmage ne sufTit 
pas a remplir cette tache. D'un autre cote une information caracterisant 
I'image uniquement dans sa globalite peut s'av^rer inadaptee dans le cas de 

35 modification partielle du decor de la scene, par exemple par modification du 
fond de la scene. 
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L'invention a pour but de pallier les inconvenients precites. Elle a 
pour objet un proc6de de mesure de similarite entre Images, cara^terise en 
5 ce qu'll effectue. pour chaque image, les etapes suivantes : 

- segmentation de I'image 

- classification des segments en fonctlon de leur orientation pour 

* 

donner des classes, 

- calcul d'un histogramme dti nombre de segments en foncUon de 

10 la ciasse, * ' ^ 

- calcul d'un histogramme *du nombre de pixels appartenant aux 
segments d'urie m§me ciasse en fonction de la ciasse. 

- comparaison des histogrammes de chaque Imagie pour donner 

une mesure de similarit6. 
15 Selon une mise en ceuvre particuliere, le procdd6 est caracterlse 

en ce qu'il calcule 6galement un histogramme correspondant a la distribution 

des segments autour du centre de gravity de chaque ciasse. 

Selon une realisation particuliere, pour calculer cet histogramme. il 

effectue un calcul de I'ecart-type des distances des milieux des segments 
20 d'une ciasse au centre de gravite de la ciasse consideree. 

Selon une mise en ceuvre particuliere, la comparaison des 

histogrammes conslste en une soustraction des ordonn6es, ciasse par 

ciasse et en une somme, sur I'ensemble des classes, des valours obtenues 

pour chaque ciasse. 

25 Selon une mise en ceuvre particuliere, les histogrammes sont 

codds selon la norme MPEG-7. 

Ulnventlon concerne 6galement un proc§d6 de regroupement 
(clustering) d'images d'une base de donn6es. caract6ris6 en ce que le 
regroupement est effectu6 en fonction des mesures de similarity selon le 
30 proc6de d6crit pr6c6demment pour donner des groupes (clusters) d'images. 

L'invention concerne 6galement un proc§d6 de creation de 
r6sum§s vid6o, caracteris6 en ce qu'll s6lectionne au moins une des images 
d'au moins un groupe calcule selon le precede precedent. 

L'invention concerne egalement un procede d'indexation video. 
35 caract6rise en ce qu'il selectionne au moins une des images d'au moins un 
groupe calcul6 selon le procede precedent, comme image d'indexation. 
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L'inventlon concerne ^galement un dispositiir de mesure de 
similarite entre images, caracterise en ce qu'il comporte un circuit de 
traitement et de calcul d'histogrammes recevant des donnfes numeriques 
definissant ces images pour effectuer, pour chacune d'elle. les operations 
5 sulvantes : 

- segmentation de I'image 

- classification des segments en foncHon de leur orientation pour 

* donner des classes, 

- calcul d'un histogramme du nombre de segments en fonction de 

10 • la classe, 

- calcul d'un histogramme du nombre* de pixels appartenant aux 
segments d'une meme classe en fonction de la classe, 

- <x)mparalson des histogrammes de chaque image pour donner 
. une mesure de similarity. 

L'Invention a pour principal avantage de mettre en oeuvre des 
algorithmes performants pour caracteriser une image et mesurer la similarite 
entre images a partir de ces algoritiimes. gr§ce a I'utillsation conjointe 
d'attributs bases orientation de contours pennettant de caract6rlser le 
20 nombre de segments, leur taille ainsi que leur distribution en fonction de 
I'orientation. 

La description globale de I'Image est obtenue a partir des 
histogrammes des orientations des segrnents dans I'Image, done sans tenir 
compte de la position de ces segments dans I'image, et la description locale 
25 est obtenue a partir d'une mesure de centres de gravity de classes de 
segments, qui correspond aux positions relatives des differents segments 

d'une meme classe. 

L'utirisation de tels attributs structurels permet de caracteriser I'Image 
a la fois de fegon locale et de fagon globale, ameliorant ainsi refficacite dans 
30 la recherche de similarite des images. En effet. les dimensions des objets 
slmilaires peuvent etre tr6s differentes d'une Image a une autre, d'un plan de 
la sequence S un autre. 
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D'autres particularit^s et avantages de I'invention apparaltront 
clairement dans la description suivante donnee a titre d'exemple non limitatif, 
etfaite en regard des figures annex6es qui representent : 



la figure 1 , un organigramme du precede selon I'invention. 
la figure 2, un precede d'approximafion polygonale, 
la figure 3, un exemple de recherche de similarite. 



Le precede realise une segmentation de I'lmage. Uapproche 
« objet » n'existe cependant pas ici. 11 s'agit de determiner des segments 
dans rimage qui sont des approximations des contours reels dans I'lmage. 
par exemple a partir de mesures de gradients, sans se soucier du fait qu'ils 
appartiennent ou non ^ un objet particuller daris I'lmage. 

La figure 1 represents un organigramme definlssant les principales 
etapes du proo6de de calcul d'histogrammes d'attributs caracterisant une 

Image. - ^ 

Une premiere phase qui est un pr6traitement de I'lmage consiste en 
une detection de contours dans limage poiJr obtenir une carte de contours et 
en une segmentation de ces contours pour obtenir une carte de segments. 
La deuxi§me phase realise un calcul des attributs pour la detection de 
similarity. 

Une Image a traitor est transmise a une premiere 6tape referencee 1 
sur I'organigramme de la figure 1. Cette etape du procede realise un calcul 
de gradients dans I'lmage. Un filtre de detection de gradients est applique k 
I'lmage pour donner en chaque point une mesure de gradient Une carte de 
gradients verticaux et une carte de gradients horizontaux sont alnsl 
calculees. La norme des gradients obtenue a partir de ces cartes, raclne 
can^e de la somme des can^s des valeurs de gradient horizontal et vertical 
attribuees a un pixel, est aussl exploit6e. 

L'etape 2 realise une selection des pixels d partir des valeurs de 
gradient calcul6es h l'etape pr6c6dente, comparees a des seuils. Cette 
selection est affinee par celle des points de plus fort contraste dans une 
fendtre de voisinage donn6e. Le but est de supprimer des contours epais en 
selectionnant. dans le voisinage d'un pixel, les pixels ayant les plus forts 
gradients, en considerant les valeurs des gradients horizontaux et verticaux. 
II s'agit 6galement de favoriser les pixels voisins d'un pixel deja selectionne 
comme un contour. Les points contours isoles sont elimines. Nous obtenons. 



a ce stade. une carte binaire de contours, chaque pixel de 1' image est 
^tiquete conime contour ou non. 

Un test de connectivite est effectue sur la carte binaire de contours 
afin de rassembler les pixels voisins, pour ainsi constltuer des lignes de 
5 contours. Pour ce faire. un processus d'6tlquetage en composantes 
connexes est mis en oeuvre a I'etape suivante 3. 

Deux pixels sont declares connexes s'il exists un chemin 
ininterrompu de pixels contours reliant ces deux pixels. On « chaTne » ainsi 
des pixels contours de maniere § obtenir une ligne de continuite. Les pjxels 
10 connexes sont etiquet§s, chaque pixel touchant un autre pixel 6tant marqu6 
de la m§me etiquette. On obtient. pour chaque etiquette, une liste de 
composantes connexes. cette liste etant les coordonn6es des diff6rents 
pixels d'une ligne de continuite relative § une etiquette. 

Pour chaTner chaque contour d'une extr^mite a I'autre, il est 
15 n^cessalre d'6limlner les points multiples, c'est a dire les jonctions de lignes , 
de contours. Un algorithme teste la presence de jonctions et les ellmine. 
Cette §tape est realisee en effectuant un suivi de contours sur chaque. 
composante connexe identifiee. Le parcours des pixels appartenant a une 
composante connexe donn6e se fait de proche en proche. Une combinaison , 
20 de filtfes permet de savoir si le pixel courant correspond § une jonctlon entre j. 
le contour principal et un contour secondaire. Un pixel ayant ete categorise 
comme jonction est ellmine de la carte des.pixels contour. d6tachant ainsi le j: 
contour secondaire du contour principal. Le contour secondaire est replac6 
dans la liste des composantes connexes ^ parcourir. Le suivl de contours se 
25 poursuit alors le long du contour principal. 

A ce stade. nous disposons d'une carte de lignes de continuity non 

rectillgnes. 

L'etape suivante 4 du processus de pr6traitement est une 
approximation polygonale de ces contours chaTnes afin d'approcher chaque 
30 ligne de contour par un ensemble de segments connect^s. 

La figure 2 represente un precede d'approximation polygonale d'un 
contour chaine. Pour un contour donne reference 11. on recherche le point 
e3 donnant la distance maximale entre les points du contour et le segment 
forme par les extremites de ce contour e1 et e2. Si cette distance est 
35 superieure § un seuil. le contour est approche par deux segments [e1 ,e3] et 
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[e3,e2]. Le processus est reltere Jusqu'a ce que les distances du point au 
segment soient inferieures au seuil fixe. 

A Tissue de cette etape, on dispose, pour une image, d'une carte de 
segments constituee d'un ensemble de segments dont il est alors possible 
5 de calculer I'orientation. Un exemple de carte de segments est represente en 
iiaut a droite de la figure 3. 

La deuxieme pliase consiste en un calcul et une exploitation des 
attributs relatifs a cette carte de segment. 

10 L'etape 5 calcule, pour chaque segment de la carte de segments, 

I'angle eri!re sa direction et I'horizontale. L'angle obtenu. compris entre 0 et 
180 degres, est alors quantifi^ pour obtenir un nombre r6duit de categories 
ou classes d'angles. Par exemple, les angles obtenus sont repertories dans 
36 classes, le pas de quantification etant de 5 degr§s ou, en d'autres ternies, ' 

1 5 une classe correspond S une largeur de 5 degres. 

Des histogrammes relatifs d trois attributs sont. maintenant calcules 
lors de l'etape 6, exploitant Tlnformation d'orientation de segment obtenue 
precedemment. 

- un liistogramme du nombre de segments en fonction de 
20 I'orientation. 

Les differentes classes sont representees en abscisse et les 
occurrences en ordonnees. 

- un hiistogramme du nombre total de pixels appartenant a des 
segments de meme orientation en fonction de I'orientation de ceux-ci. 

25 Les ordonnees correspondent ^ la somme des longueurs des 

segments de la classe, pour une classe donnee. 

- un histogramme correspondant d la distribution des segments 
autour du centre de gravite de chaque classe, par calcul de recart-type des 
distances des milieux des segments au centre de gravite. 

30 Le centre de gravite G, de la classe C, est obtenu par calcul du 

barycentre des milieux M(sj) des segments Sj. Le poids associe a chaque 
milieu est egal au nombre de pixel n(s^ composant le segment : 
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2n(sj)*M(sj) 



sjsCi 

Les ordonnees H(i) correspondent ^ r6cart-type des distances 
euclidiennes d{G,M{Sj)) entre le barycentre ou centre de gravite de la 
classe C conslder6e et le centre de chaque segment de la classe : 



H(i)=^ 



card(Ci)* 2:d(GiM(sj))2-( ^dCGj M(Sj)))^ 



catd(Ci)*card(Ci) 



oCi carded la foncHon cardlnale retoumant le nombre de segments de la 
classe consid6r6e. 

La distribution est mise sous fomne d'histogramme. c'est a dire :de 
vecteuis de valeurs, permettant ainsi son exploitation dans le cadre de.la 
norme MPEG7 qui d6finit le codage de tels histogrammes. 

15 Afin de plus facilement combiner les infonnations, les histogrammes 

sont nonnallses, par exemple a partir des valeurs maximales trouvees. 

Les trois histogrammes des attributs caracterlsant I'image sont 
exploites pour les mesures de simllarite, 6tape 7. 

20 Trois histogrammes sont calcules pour une premiere image qui est 

par exemple une image requete et trois autres histogrammes pour une 
deuxieme image qui est une image dans une base de donnees. La mesure 
de similarite entre les deux Images I, et/,. c'est ^ dire le calcul de la distance 
entre ces images peut alors s'effectuer par simple soustraction des 

25 ordonnees. classe par classe. pour chaque type d'histogramme de tailie 

i:iHif(i)-H^(i) 



dk(H^,H|) 
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Un indlcateur de similarite est par exemple la somme des 

valeurs obtenues par ces soustractlons, pour I'ensemble des histogrammes : 

2dk(Hf,H^) 
SQi,l2) = ^^''^'^ 3 

5 

La mesure de similarity. peut §tre am§lioree en comparant la classe 
egalement d des classes voisines de I'histogramme de I'autre image, avec un 
faeteur de pond§ration^La comparalson d'lilstogrammes utilise par exemple 
une m^trique de type cross quadratique permettant de s'affranchir des 
10 faibles variations d'orientatlon globale entre deux fmages successives, par 
exemple lors d*une rotation faible de la camera. 

Un exemple de reciierclne d'images similaires est donne a la figure 3, 
montrant, en haut a gauclie, I'image conslderee, sa carte de contours et de 
15 segments associ^e, airisi que les images reconnues comme les plus 
ressemblantes dans une base de 150 images Issues de deux sequences 
differentes. 

La principale. caracteristique de ces histogrammes est done de 
20 foumir une description ^ la fois globale et locale des images. II est ainsi 
possible, grace § la description globale. de differencier des images 
globalement structur6es. par exemple des Images de vllles caracterisees pas 
des orientations de segments horizontaux et verticaux, d'images de 
campagnes caracterisees par des orientations de segments plus aleatoires. 
25 Mais 11 est 6galement possible, grace a la description locale, de differencier 
des images localement structurees. une partie de I'image est par exemple 
consacr6e d un b§timent, une autre a un bois, d'images moins stnjctur§es, 
par exemple une maison au milieu de la foret. 

30 Le calcul des segments, dans la description pr6c6dente, est effectue 

sur les valeurs de luminance de I'image. II est bien sur tout aussi 
envisageable d'effectuer un tel calcul pour chacune des composantes 
couleur de I'image. Si les calculs demandent plus de capacity de traitement, 
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en revanche la realisation d'histogrammes par couleOr pemiet d'anneUorer 

refficacite du proc6de. 

Trois histogrammes sont ici exploites pour caractenser I .mage. 11 est 
bien sOr possible de n'exploiter que I'un d'entre eux ou une comblnaison de 
deux d'entre eux pour calculer la similarity d'images. sans sortir du domains- 
de rinvention. 

Les orientations des segments exploit6es peuvent etre les angles 
formes avec d'autres droites de r§f§rence que I'horizontale. Les dimens.oris 
des classes peuvent'§tre inferieures ou superieures a 5 degr^s. selon la 
puissance ou temps de calcul disporiible oula quality de mesure souhartee. 
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revendicAtions 



1 Procede de mesure de similarite entre images, caracterise en ce 
qu'il effectue, pour chaque image, les stapes suivantes : 

- segmentation de I'image (1 , 2, 3, 4), 

- classification des segments en fonction de leur orientation pour 
10 . donner des classes (5), 

- caicul d'un histogramme du nombre de segments en fonction de 

la classe (6), • 

- caicul d'un histogramme du nombre de pixels appartenant aux 
segments d'une m§me classe en fonction de la^classe (6), 

15 - comparalson des histogrammes de chaque image pour donner 

une mesure de similarity (7).. 

2 ProcedS selon la revendication 1, caracteris6 en ce qu'il calcule 
6galement un histogramme (6) correspondant a la distribution des segments 

20 autour du centre de gravlt6 de chaque classe. 

3 Procede selon la revendication 2, caracterise en ce que, pour 
calculer rhistogramme, il effectue un caicul de I'ecart-type des distances des 
milieux des segments d'une classe au centre de gravite de la classe 

25 consideree. 

4 Procede selon la revendication 1, caracterise en ce que la 
comparaison des histogrammes consiste en une soustraction des 
ordonn6es, classe par classe et en une somme, sur I'ensemble des classes, 

30 des valeurs obtenues pour chaque classe. 

5 Precede selon la revendication 1, caracterise en ce que les 
histogrammes sont codes selon la norme MPEG-7. 

35 6 Precede de regroupement (clustering) d'images d'une base de 

donnees, caracterise en ce que le regroupement est effectue en fonction des 
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mesures de similarite selon le precede de la revendication 1 pour donner des 
groupes (clusters) d'images. 

7 Proc§de de creation de resumes video, caracterlse en ce quMl 
5 s§lectionne au moins une des images d'au moins un groupe calcul6 selon le 

precede de la revendication 6. 

8 Precede d'indexation video. caracteris6 en ce qu'il selectionne 
au moins une des images d'au moins uh groupe calcule selon le proc6d6 de 

10 la revendication 6, comme Image d'indexation. 

9 Dispositif de mesure de similarite entre Images, caract6rise en 
ce qu'll comporte un circuit de traltement et de calcul d'histogrammes 
recevant des donn§es num6riques d6finissant ces Images pour effectuer. 

15 pour chacune d'elle, les operations suivantes : . . 

- segmentation de Timage (1 , 2, 3, 4), 

- classification des segments en fonction de leur orientation piour 

donner des classes (5), 

- calcul d'un histogramme du nombre de segments en fonctlort de 



20 la classe (6), 

- calcul d'un histogramme du nombre de pixels appartenant aux 

segments d'une meme classe en fonction de la classe (6). 

- comparalson des hlstogrammes de chaque Image poUr donner 
une mesure de similarite (7). 

25 
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□ BLURRED OR ILLEGIBLE TEXT OR DRAWING 

□ SKEWED/SLANTED IMAGES 

□ COLOR OR BLACK AND WHITE PHOTOGRAPHS 

□ GRAY SCALE DOCUMENTS 

JQTlINES or marks on ORIGINAL DOCUMENT 

□ REFERENCE(S) OR EXHIBIT(S) SUBMITTED ARE POOR QUALITY 

□ OTHER: 

IMAGES ARE BEST AVAILABLE COPY. 
As rescanning these documents will not correct the image 
problems checked, please do not report these problems to 
the IFW Image Problem Mailbox. 



